This paper presents a simple and effective visual prompting method for adapting pre-trained models to downstream recognition tasks. Our method includes two key designs. First, rather than directly adding together the prompt and the image, we treat the prompt as an extra and independent learnable component. We show that the strategy of reconciling the prompt and the image matters, and find that warping the prompt around a properly shrinked image empirically works the best. Second, we re-introduce two "old tricks" commonly used in building transferable adversarial examples, i.e., input diversity and gradient normalization, into visual prompting. These techniques improve optimization and enable the prompt to generalize better. We provide extensive experimental results to demonstrate the effectiveness of our method. Using a CLIP model, our prompting method sets a new record of 82.8% average accuracy across 12 popular classification datasets, substantially surpassing the prior art by +5.6%. It is worth noting that this prompting performance already outperforms linear probing by +2.1% and can even match fully fine-tuning in certain datasets. In addition, our prompting method shows competitive performance across different data scales and against distribution shifts. The code is publicly available at https://github.com/UCSC-VLAA/EVP.

通过快速梯度符号方法（FGSM）生成的样品（也称为FGSM-AT）生成的样品是一种计算上的简单方法，可以训练训练强大的网络。然而，在训练过程中，在Arxiv：2001.03994 [CS.LG]中发现了一种不稳定的“灾难性过度拟合”模式，在单个训练步骤中，强大的精度突然下降到零。现有方法使用梯度正规化器或随机初始化技巧来减轻此问题，而它们要么承担高计算成本或导致较低的稳健精度。在这项工作中，我们提供了第一项研究，该研究从三个角度彻底研究了技巧的集合：数据初始化，网络结构和优化，以克服FGSM-AT中的灾难性过度拟合。令人惊讶的是，我们发现简单的技巧，即a）掩盖部分像素（即使没有随机性），b）设置较大的卷积步幅和平滑的激活功能，或c）正规化第一卷积层的重量，可以有效地应对过度拟合问题。对一系列网络体系结构的广泛结果验证了每个提出的技巧的有效性，还研究了技巧的组合。例如，在CIFAR-10上接受了PREACTRESNET-18培训，我们的方法对PGD-50攻击者的准确性为49.8％，并且针对AutoAttack的精度为46.4％，这表明Pure FGSM-AT能够启用健壮的学习者。代码和模型可在https://github.com/ucsc-vlaa/bag-of-tricks-for-for-fgsm-at上公开获得。

本文研究了从预先训练的模型，尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单：除了优化掩盖输入的像素重建损失外，我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。此设计导致一个计算高效的知识蒸馏框架，给定1）仅使用一个少量可见的补丁子集，2）（笨拙的）教师模型仅需要部分执行，\ ie，\ ie，在前几个中，向前传播输入层，用于获得中间特征图。与直接蒸馏微型模型相比，提炼预训练的模型显着改善了下游性能。例如，通过将知识从MAE预先训练的VIT-L提炼为VIT-B，我们的方法可实现84.0％的Imagenet Top-1精度，表现优于直接将微型VIT-L蒸馏的基线，降低1.2％。更有趣的是，我们的方法即使具有极高的掩盖率也可以从教师模型中进行鲁棒性蒸馏：例如，在蒸馏过程中仅可见十个斑块，我们的VIT-B具有竞争力的前1个Imagenet精度为83.6％，在95％的掩盖率中，只有十个斑块。 ;令人惊讶的是，它仍然可以通过仅四个可见斑（98％的掩盖率）积极训练来确保82.4％的Top-1 Imagenet精度。代码和模型可在https://github.com/ucsc-vlaa/dmae上公开获得。

我们首次建议使用基于多个实例学习的无卷积变压器模型，称为多个实例神经图像变压器（Minit），以分类T1Weighted（T1W）MRIS。我们首先介绍了为神经图像采用的几种变压器模型。这些模型从输入体积提取非重叠的3D块，并对其线性投影进行多头自我注意。另一方面，Minit将输入MRI的每个非重叠的3D块视为其自己的实例，将其进一步分为非重叠的3D贴片，并在其上计算了多头自我注意力。作为概念验证，我们通过训练模型来评估模型的功效，以确定两个公共数据集的T1W-MRIS：青少年脑认知发展（ABCD）和青少年酒精和神经发展联盟（NCANDA）（NCANDA） 。博学的注意力图突出了有助于识别脑形态计量学性别差异的体素。该代码可在https://github.com/singlaayush/minit上找到。

数据混合（例如混合，cutmix，resizemix）是推进识别模型的重要组成部分。在本文中，我们专注于研究其在自我监督环境中的有效性。通过注意共享相同源图像的混合图像彼此内在相关，我们在此提议SDMP，缩写为$ \ textbf {s} $ imple $ \ textbf {d} $ ata $ \ ata $ \ textbf {m} $ ixing $ ixing $ \ textbf {p} $ rior，要捕获这个直接但必不可少的先验，并将混合图像定位为其他$ \ textbf {potition pairs} $，以促进自我监督的表示的学习。我们的实验验证了所提出的SDMP可以使数据混合有助于一组自学的学习框架（例如MoCo）实现更好的准确性和分布外的鲁棒性。更值得注意的是，我们的SDMP是成功利用数据混合以改善（而不是伤害）视觉变压器在自我监督的环境中的性能的第一种方法。代码可在https://github.com/oliverrensu/sdmp上公开获取

视觉变形金刚最近的成功是在图像识别中挥舞着卷积神经网络（CNN）的长期优势。具体而言，就稳健性而言，最近的研究发现，无论训练设置如何，变压器本质上比CNN更强大。此外，人们认为，变形金刚的这种优越性应该在很大程度上被认为是他们的自我注意力型建筑本身。在本文中，我们通过密切研究变压器的设计来质疑这种信念。我们的发现导致了三种高效的体系结构设计，以提高鲁棒性，但很简单，可以在几行代码中实现，即a）修补输入图像，b）扩大内核大小，c）降低激活层和归一化层。将这些组件融合在一起，我们能够构建纯CNN体系结构，而没有任何类似注意力的操作，这些操作比变形金刚更强大，甚至更健壮。我们希望这项工作可以帮助社区更好地了解强大的神经体系结构的设计。该代码可在https://github.com/ucsc-vlaa/robustcnn上公开获得。

图像预训练，当前用于广泛视觉任务的当前事实范式在视频识别领域中通常不太受青睐。相比之下，一种共同的策略是直接从头开始使用时空卷积神经网络（CNN）训练。尽管如此，有趣的是，通过仔细研究这些从划痕学到的CNN，我们注意到存在某些3D内核比其他人具有更强的外观建模能力，可以说表明外观信息在学习中已经很好地散布了。受到这一观察的启发，我们假设有效利用图像预训练的关键在于学习空间和时间特征的分解，并将图像预训练作为初始化3D内核之前的外观。此外，我们提出了空间可分离（STS）卷积，该卷积将特征通道明确将特征通道分为空间和时间基团，以进一步使时空特征更彻底地分解3D CNN。我们的实验表明，简单地用ST替换3D卷积可以显着改善3D CNN的范围，而无需增加参数和计算动力学400和一些v2的计算。此外，这条新的培训管道始终以显着加速的视频识别取得更好的结果。例如，在强大的256- epecoch 128-GPU基线上，我们在Kinetics-400上获得了 +0.6％的慢速1，同时仅以40个GPU进行微调，而对50个时代进行了微调。代码和型号可在https://github.com/ucsc-vlaa/image-pretraining-for-video上找到。

脾脏是钝性腹腔创伤中最常见的固体器官之一。来自多相CT的自动分割系统的开发用于脾血管损伤的脾血管损伤，可以增强严重程度，以改善临床决策支持和结果预测。然而，由于以下原因，脾血管损伤的准确细分是具有挑战性的：1）脾血管损伤可以是高度变体的形状，质地，尺寸和整体外观; 2）数据采集是一种复杂和昂贵的程序，需要来自数据科学家和放射科学家的密集努力，这使得大规模的注释数据集难以获取。鉴于这些挑战，我们在此设计了一种用于多相脾血管损伤分割的新框架，尤其是数据有限。一方面，我们建议利用外部数据作为矿井伪脾面罩作为空间关注，被称为外部关注，用于引导脾血管损伤的分割。另一方面，我们开发一个合成相位增强模块，它在生成的对抗网络上构建，通过完全利用不同阶段之间的关系来填充内部数据。通过联合实施外部注意力和填充内部数据表示，我们提出的方法优于其他竞争方法，并且在平均DSC方面大大改善了超过7％的流行Deeplab-V3 +基线，这证实了其有效性。

尽管辐射学家常规使用电子健康记录（EHR）数据来形成临床历史并通知图像解释，但医学成像的大多数深度学习架构是单向的，即，它们只能从像素级信息中学习特征。最近的研究揭示了如何从像素数据中恢复种族，仅突出显示模型中的严重偏差的可能性，这未能考虑人口统计数据和其他关键患者属性。然而，缺乏捕获临床背景的成像数据集，包括人口统计学和纵向病史，具有偏远的多式化医学成像。为了更好地评估这些挑战，我们呈现RadFusion，一种多式联运，基准数据集1794名患者的相应EHR数据和高分辨率计算断层扫描（CT）扫描标记为肺栓塞。我们评估了几个代表性的多模式融合模型，并在受保护的亚组中，例如性别，种族/种族，年龄的年龄。我们的研究结果表明，集成成像和EHR数据可以提高分类性能和鲁棒性，而不会在人口群之间的真正阳性率下引入大的差异。

批准（BN）均匀地基于一批图像的统计数据均匀地移动并缩放激活。但是，背景像素的强度分布通常主导了BN统计数据，因为背景占整个图像的很大比例。本文着重于通过前景像素的强度分布增强BN，这对于图像分割至关重要。我们提出了一种新的归一化策略，称为分类归一化（结合型），以根据分类统计数据使激活归一化。分类统计数据是通过动态调节属于前景的图像中的特定区域而获得的。结合型在从不同域获得的五个公共数据集展示了精确和稳健的分割结果，涵盖了复杂和可变的数据分布。这归因于结合体从医疗数据的多个领域（机构）捕获域不变的信息的能力。代码可从https://github.com/lambert-x/catenorm获得。